ซามูเอล มอร์ส เกิดที่เมืองชาลส์ทาวน์ รัฐแมสซาชูเซตส์ เป็นบุตรคนแรกของพระนักภูมิศาสตร์ชื่อ เจไดดิอาห์ มอร์สและอลิซาเบท แอนน์ บรีส มอร์ส หลังจากได้เข้าเรียนที่ฟิลลิปส์อคาเดมีในวัยเด็ก ก็ได้เข้าเรียนระดับมหาวิทยาลัยเมื่ออายุเพียง 14 ปี มอร์สมีความสนใจและทุ่มเทชีวิตทางศิลปะ และได้เป็นลูกศิษย์ของ วอชิงตัน อาลสตัน จิตรกรอเมริกันผู้มีชื่อเสียง เมื่อเข้าเรียนที่มหาวิทยาลัยเยล มอร์สได้เข้าฟังการบรรยายเกี่ยวกับไฟฟ้าโดยเบนจามิน ซิลลิแมนและเจอเรเมียห์ เดย์ ในขณะเดียวกับก็เขียนภาพจิตรกรรมเพื่อนำเงินมาส่งเสียตัวเอง มอร์สจบการศึกษาจากมหาวิทยาลัยเยลเมื่อ พ.ศ. 2353 และได้เป็นผู้ติดตามอาลสตันไปท่องยุโรปในปีถัดมา